对抗迁移学习
1. 对抗学 习与迁移学习的相遇
生成对抗网络(GAN)的核心思想是:让一个生成器 与一个判别器 相互博弈,最终生成器学到目标分布。
迁移学习中一个核心的诉求,正是让源域和目标域的特征分布 "看起来一样" ——这与 GAN 的目标天然契合。因此,用"域判别器"充当 GAN 中的 、用"特征提取器"充当 ,就得到了对抗迁移学习。
2. 理论基础:-Divergence
Ben-David 等人给出了目标域误差的上界:
其中 是"两个域在假设空间上的可区分性"。如果我们能训练一个域分类器,其分辨源、目标域的能力越弱,说明两个域的特征越接近,进而目标域的泛化误差越小。
对抗迁移学习正是把这个理论落地——训练特征提取器"骗过"域分类器 。
3. DANN:域对抗神经网络
Ganin 等人提出的 DANN(Domain-Adversarial Neural Network)是对抗迁移的开山之作。其结构包含三个 模块:
- 特征提取器 :把输入映射到特征空间;
- 标签预测器 :源域上的分类头;
- 域判别器 :判断特征来自源域还是目标域。
优化目标为:
- 想让分类损失最小;
- 想尽可能区分两个域(域分类损失最小);
- 既要帮 ,又要 反着 帮 ——让域分类损失最大。
3.1 梯度反转层(GRL)
如何在同一个网络中实现"共同训练但反向优化"?DANN 引入了 梯度反转层(Gradient Reversal Layer, GRL) :
- 前向:;
- 反向:。
在 PyTorch 中的实现:
import torch
class GradReverse(torch.autograd.Function):
@staticmethod
def forward(ctx, x, lam):
ctx.lam = lam
return x.view_as(x)
@staticmethod
def backward(ctx, grad_output):
return grad_output.neg() * ctx.lam, None
def grad_reverse(x, lam=1.0):
return GradReverse.apply(x, lam)
将 GRL 放在特征提取器与域判别器之间,就能让特征提取器"反着"学到域不变表示。
3.2 λ 的调度
一般随训练进度平滑上升,避免早期训练不稳定:
4. DANN 的改进方向
DANN 之后,对抗迁移学习百花齐放:
4.1 CDAN:条件对抗迁移
Long 等人的 CDAN(Conditional Domain Adversarial Network)指出:仅对齐边缘分布不够,还要 利用类别信息 。做法是将特征 与预测分布 做外积 ,将结果送入域判别器:
- 保证同一类样本的域间对齐;
- 显著提升多类别任务的迁移性能。
4.2 ADDA:对抗判别域适应
ADDA(Tzeng 等)采用 不对称训练 :先在源域上训好特征提取器 ,再冻结它;训练一个目标域的特征提取器 ,让它输出的特征能够"骗过"域判别器。这种非对称结构比 DANN 更容易训练。
4.3 GAN 直接生成源域风格数据
- PixelDA :用 GAN 把源域图像"翻译"成目标域风格,再做常规监督学习;
- CyCADA :结合 CycleGAN 与语义一致性损失,同时保持像素与语义。
这些方法把"对抗"发生在像素层面,特别适合视觉任务中"风格差异明显但语义一致"的场景。
4.4 MDD:Margin Disparity Discrepancy
MDD 提出一种新的域距离,通过"边际分类差 异"作为对抗目标,理论性更强,且实验上比 DANN 更稳。
5. 对抗迁移的完整训练流程
以最经典的 DANN 为例,一次完整训练循环包括:
for step in range(total_steps):
xs, ys = next(source_loader)
xt, _ = next(target_loader)
lam = 2.0 / (1.0 + math.exp(-10 * step / total_steps)) - 1.0
# 特征提取
feat_s = feature_extractor(xs)
feat_t = feature_extractor(xt)
# 源域分类损失
logits_s = classifier(feat_s)
loss_cls = F.cross_entropy(logits_s, ys)
# 域对抗损失(经过 GRL)
feat_all = torch.cat([feat_s, feat_t], dim=0)
domain_labels = torch.cat([torch.zeros(len(xs)), torch.ones(len(xt))]).long().cuda()
dom_logits = domain_disc(grad_reverse(feat_all, lam))
loss_dom = F.cross_entropy(dom_logits, domain_labels)
loss = loss_cls + loss_dom
optimizer.zero_grad(); loss.backward(); optimizer.step()
6. 对抗迁移学习的优缺点
优点
- 不显式假设某种分布形式;
- 端到端,可与任何主干网络结合;
- 在视觉、NLP、语音等多个任务上均验证有效。
局限
- 训练不稳定 :博弈过程可能出现模式坍塌、震荡;
- 模式坍缩 :两个域的特征都塌缩到某一小区域,虽域不变但判别性丢失;
- 无监督评估困难 :目标域无标签时,超参和早停策略难以设置;
- 对负迁移敏感 :源、目标语义差异过大时可能损害性能。
7. 常见坑与最佳实践
- 域判别器不能太强 :一般 2~3 层 MLP,宽度不宜过大;否则 学不到判别性特征。
- λ 从 0 开始逐渐增大 :让特征提取器先具备基本判别能力。
- 配合 Entropy Minimization :在目标域上加最小熵损失,鼓励高置信预测。
- 配合 DSAN / CDAN :把对抗与类感知结合,效果远超裸 DANN。
- 注意 BatchNorm :Source-only BN 会污染目标域,建议在训练时区分统计量或采用 AdaBN。
8. 小结
对抗迁移学习将 GAN 的思想引入分布对齐:
- DANN 奠定基础范式;
- CDAN / ADDA / MDD 是主线上的重要改进;
- PixelDA / CyCADA 在像素级完成迁移;
- 它与统计对齐(MMD、CORAL)不是对立关系,二者往往可以互补使用。
References
[1]. 王晋东,陈益强. 迁移学习导论(第二版). 电子工业出版社, 2022.
[2]. Ganin Y, Lempitsky V. Unsupervised Domain Adaptation by Backpropagation. ICML, 2015.
[3]. Ganin Y, et al. Domain-Adversarial Training of Neural Networks. JMLR, 2016.
[4]. Tzeng E, et al. Adversarial Discriminative Domain Adaptation. CVPR, 2017.
[5]. Long M, et al. Conditional Adversarial Domain Adaptation. NeurIPS, 2018.
[6]. Zhang Y, et al. Bridging Theory and Algorithm for Domain Adaptation. ICML, 2019.